Powstało ono pomiędzy dwiema miejskimi bramami: Porta Pinciana i Porta Salaria. Tereny te, leżące na północy Rzymu, zostały zakupione na początku XVII wieku przez bratanka papieża Grzegorza XV, jedną z najbardziej wpływowych postaci tego czasu, kardynała Ludovico Ludovisi, który stworzył tu prawdziwą podmiejską rezydencję. Był on znakomitym kolekcjonerem sztuki antycznej i współczesnej. Do jego zbiorów należało pierwotnie Porwanie Prozerpiny (Gian Lorenzo Bernini), jak również 450 obiektów sztuki antycznej, w tym słynna głowa Junony czy sarkofag zwany Ludovisi, które jeszcze w XIX wieku ściągały w to miejsce pisarzy i malarzy, niemogących wyjść z podziwu nad pięknem tych rzeźb. Podobny zachwyt budził park i ogród stworzony przez francuskiego kreatora ogrodów André Le Nôtre’a. Stendhal, opisując spacer po parku w 1828 roku, twierdził, że jest to jedno z najpiękniejszych miejsc w Europie.

Z całego założenia, które początkowo składało się z Palazzo Grande (dużego pałacu), Casino Caponi (casino to po włosku pałacyk), ze zbiorami sztuki antycznej kardynała, oraz reprezentacyjnego małego pałacyku zwanego Casino dell’Aurora (nie mylić z tak samo brzmiącą nazwą budynku stworzonego przez kardynała Scipione Borghese na Kwirynale – Palazzo Pallavicini Rospigliosi), do dziś przetrwał tylko ten ostatni. W pierwotnej postaci budynek oparty był na planie krzyża greckiego z centralnym salonem i czterema pokojami na ramionach. Spiralne schody prowadziły na pierwsze piętro, które koronowała kwadratowa wieża. W późniejszym czasie obiekt ten został rozbudowany.

Warto wiedzieć, że ten mały pałacyk wcześniej należał do innego kardynała – Francesca Maria del Monte, który pod koniec XVI wieku stworzył w tym miejscu prawdziwy intelektualny i artystyczny salon. Znalazł się w nim także gabinet alchemiczny oraz niewielka sala, którą na życzenie kardynała w 1597 roku udekorował Caravaggio. Strop pomieszczenia przedstawia w karkołomnych pozach i silnych skrótach perspektywicznych trzech bogów – Jowisza, Neptuna i Plutona jako personifikacje Powietrza (orzeł), Wody (koń wodny) i Ziemi (trójgłowy pies Cerber), którym przyporządkowane są odpowiednie pierwiastki – siarka (Jowisz), rtęć (Neptun) i sól (Pluton). W środkowej części malowidła widnieje kryształowa kula ze znakami zodiaku i dwiema pomniejszymi kulami.  Niektórzy badacze dopatrują się w twarzach dwóch bogów, Plutona i Neptuna, wizerunków samego malarza. Nie można też nie zauważyć, że uwagę patrzących przykuwają przede wszystkim silnie wyeksponowane genitalia Plutona. Malowidło zostało wykonane nie w technice fresku, ale łatwiejszej w pracy, tyle że mniej trwałej technice olejnej wprost na tynku. Tworząc tę kompozycję, Caravaggio udowodnił też (choć nie do końca) swym kolegom po fachu, zarzucającym mu nieznajomość zasad perspektywy, że metoda malowania modnych w tym czasie dekoracji stropowych, nie jest mu obca, choć… nie jest też jego mocną stroną. Nie należy zapominać, że jest to bardzo małe, wręcz kameralne dzieło, liczy bowiem jedynie 3 metry długości i 180 centymetrów szerokości. Na nowo odkryte zostało dopiero w 1990 roku.

Gdy kardynał del Monte sprzedał budynek kardynałowi Ludovico Ludovisiemu, ten rozbudował go i nakazał w 1622 roku pokryć wnętrza malowidłami. Wśród nich sławą cieszył się już od momentu powstania iluzjonistyczny  plafon Aurora. Jego twórcami byli współpracujący ze sobą Guercino i Agostino Tassi; ten drugi odpowiadał za tzw. kwadraturę, czyli idealnie wykreśloną perspektywę, dającą złudzenie pnącego się w nieskończoność architektonicznego belkowania i otwarcia go na bezkresne połacie nieba, na tle którego przemieszcza się zaprzężony w konie rydwan Aurory. Guercino w świadomy sposób polemizuje tu z freskiem o tej samej tematyce (jego autorem był Guido Reni) ze wzmiankowanego Casino dell’Aurora – willi Scipione Borghesego, powstałej zaledwie dziesięć lat wcześniej. Rywalizację tę przenieść możemy tym samym na współzawodnictwo obu kardynałów – Borghesego i Ludovisiego – największych kolekcjonerów i właścicieli najznakomitszych zbiorów sztuki w ówczesnym Rzymie.

Inne sale parteru dekorowane były między innymi przez Guercina, ale też Domenichina. Tuż obok reprezentacyjnego salonu, zwanego od znajdującego się tam malowidła salą dell’Aurora, znajduje się Stanza del Caminetto (sala kominkowa). Rywalizowali w niej o autorstwo najpiękniejszego krajobrazu czterej ówcześni artyści: wspomniani Guercino i Domenichino oraz Paolo Bril i Giovanni Battista Viola. Ich wysiłki dojrzeć można na suficie pomieszczenia, gdzie pomiędzy wizerunkami atlantów pojawiają się subtelne pejzaże. Pokój ten otwiera się z kolei na altanę, której główną dekoracją są antyczne reliefy. W innej części parteru znajdowała się ongiś biblioteka. Jej sufit zdobią gromady putt podtrzymujących wstęgę z nazwiskiem, herbem (trzy skośne wstęgi) i tytułami kardynała Ludovisiego. Namalowane zostały przez mało znanego, również XVII-wiecznego malarza Giovanniego Luigi Valesia. Dziś salon ten prezentuje portrety rodzinne i prowadzi do kolejnej, tym razem jadalnej sali. Ta udekorowana jest już późniejszymi, XVIII-wiecznymi stiukami i drobnymi malowidłami o tematyce rodzajowo-krajobrazowej w dekoracyjnych obramieniach. 

Wspinając się okrągłą klatką schodową na górę, jeszcze raz skonfrontowani zostaniemy z dziełem Guercina. Tym razem jest nim inne iluzjonistyczne malowidło, którego tematyka nawiązuje do alegorii Sławy. Ją samą dojrzymy w centralnej partii kompozycji, otwierającej się na bezkres nieba. W ręce dzierży trąbę i gałązkę oliwną. U jej stóp widnieją inne alegoryczne postacie: Honos – personifikacja honoru i czci oraz Virtus –   uosobienie cnoty. Obie wydają się wysyłać do Sławy swego posłańca, który niesie jej koronę. Oczywiście wszystkie te alegorie symbolizujące przymioty ducha odnoszą się do właściciela budowli i jego rodu – kardynała Ludovisiego. Za jego czasów Casino przeznaczone było do spotkań towarzyskich, głównie kolegium kardynalskiego. W późniejszym okresie, według relacji XVIII-wiecznych świadków, stało tu imponujące łoże inkrustowane kamieniami szlachetnymi, wśród których nie zabrakło diamentów, rubinów, pereł i okładzin z lapis lazuli. Tuż obok tej reprezentacyjnej sali znajduje się maleńkie pomieszczenie, wcześniej już opisane, którego dekorację sufitową stworzył Caravaggio.

Po śmierci wuja i objęciu tronu papieskiego przez Urbana VIII kardynał Ludovisi coraz rzadziej przebywał w Rzymie, a jego stosunki z nowym papieżem i jego rodziną były napięte. W 1632 roku został wręcz przymuszony do wyjazdu do Bolonii, gdzie rychło zmarł. Pochowano go jednak w jezuickim kościele Sant’Ignazio w Rzymie obok wuja – Grzegorza XV. W willi Ludovisich zamieszkiwali kolejni potomkowie kardynała, aż do małżeństwa ostatniej z rodu Ippolity Ludovisi. Wtedy posiadłość przeszła w ręce linii Boncompagni-Ludovisi. Trwający wiele dekad proces między rodem a roszczącymi prawo do posiadłości jezuitami zakończył się w 1700 roku. Wtedy to, w zamian między innymi za wspomniane łoże, zakonnicy odstąpili od swych roszczeń. Budynki stały niezamieszkane, a ogród popadał w zaniedbanie aż do lat dwudziestych XIX wieku, kiedy zaczęto urządzać tu przyjęcia, a także otwarto podwoje budowli i udostępniono zbiory dla sławnych gości – przebywali tu Gogol, Goethe, Stendhal, Taine, Henry James. W następnych latach dokupywano kolejne tereny, aż w końcu posiadłość rozciągała się na obszarze 30 kilometrów kwadratowych.  Nie trwało to jednak długo. W 1872 roku rezydencja została wynajęta przez włoskiego króla Wiktora Emanuela II, który zamieszkał tu najpierw ze swoją kochanką, a następnie drugą żoną. Już jednak 14 lat później właściciel postanowił sprzedać drogocenne grunta państwowej firmie, która wystawiła na nich ekskluzywne kamienice, hotele i inne obiekty komercyjne. Ogród został rozparcelowany, budowle zburzone. Stworzono przy tym imponującą rozmachem via Vittorio Veneto, a założenie parkowe zmniejszono do areału wokół pozostawionego Casino. Palazzo Grande został zintegrowany z nowo powstałym w 1890 roku pałacem zwanym Palazzo Margherita, przeznaczonym dla Rodolfo Boncompagni-Ludovisiego, księcia Piombino, który z kolei sprzedał go państwu włoskiemu. Po zamordowaniu króla Humberta I zamieszkała w nim i żyła aż do śmierci w 1926 roku ciesząca się sympatią rzymian królowa wdowa Małgorzata Sabaudzka (Margherita). Obecnie w pałacu znajduje się ambasada Stanów Zjednoczonych.

W 1901 roku sprzedano również znaczącą część znajdującej się w posiadaniu rodziny kolekcji sztuki rzymskiej (kolekcja Ludovisi). Została zakupiona przez rząd włoski i dziś można ją podziwiać w Museo Nazionale Romano Palazzo Altemps.

Obiekt zamieszkuje do dzisiaj rodzina Boncompagni-Ludovisi, udostępniając go jednak zwiedzającym. Z wizyty można skorzystać w grupie (do 15 osób) lub indywidualnie, tylko po uprzedniej rezerwacji. Koszt wstępu nie jest jednak niski – wynosi 300 euro (niezależenie, czy w podwoje rezydencji wkracza 15 osób, czy jedna).